面部动作生成

Loopy

Loopy是一款由字节跳动开发的音频驱动的AI视频生成模型。该模型能够将静态照片转化为具有面部表情和头部动作的动态视频,与给定的音频文件同步。Loopy利用先进的扩散模型技术,无需额外的空间信号或条件,捕捉并学习长期运动信息,从而生成自然流畅的动作。其主要功能包括音频驱动、面部动作生成、无需额外条件以及长期运动信息捕捉。Loopy适用于娱乐、教育、影视制作等多种场景。

FantasyTalking

FantasyTalking是一种由阿里巴巴AMAP团队与北京邮电大学联合开发的AI工具,能够从静态肖像生成高质量、可动画化的虚拟形象。该工具采用双阶段视听对齐策略,结合面部专注的交叉注意力模块和运动强度调制模块,实现精准口型同步、丰富表情生成及全身动作控制。支持多种风格和姿态,适用于游戏、影视、VR/AR、虚拟主播及教育等领域。

FaceShot

FaceShot是由同济大学、上海AI Lab和南京理工大学联合开发的无需训练的肖像动画生成框架。通过外观引导的地标匹配和基于坐标的地标重定位模块,生成精确的面部地标序列,并结合预训练模型生成高质量动画。其优势在于无需训练、跨领域适配性强、兼容性好,适用于影视、游戏、教育、广告及VR/AR等多个应用场景。